Đoạn đường từ ngã sáu Phù Đổng nên đường Nam Kỳ Khởi Nghĩa hiện nay vốn thuộc con đường thiên lý từ cổng thành Bát Quái đi qua vùng Đề Ngạn (Chợ Lớn) rồi đi về miền Tây Nam Bộ (cùng với đường Nguyễn Trãi). Đoạn còn lại từ đường Nam Kỳ Khởi Nghĩa đến đường Tôn Đức Thắng được làm về sau trên đường hào của thành Bát Quái cũ, tức tòa thành mà vua Minh Mạng đã cho phá vào năm 1835 sau cuộc nổi dậy Lê Văn Khôi.[2] Vào năm 1926, khi người ta tiến hành đào móng để xây dựng một tòa nhà tại góc đường De La Grandière và Catinat, vết tích một đoạn tường thành Bát Quái cũ đã phát lộ.[3][4]

Dưới thời Pháp thuộc, ban đầu con đường được đặt là đường số 17. Từ ngày 1 tháng 2 năm 1865, đường được đặt tên là đường Gouverneur (tức đường Thống đốc), do dinh thự đầu tiên của Thống đốc Nam Kỳ nằm trong khuôn viên Trường Trung học phổ thông chuyên Trần Đại Nghĩa ngày nay.[5] Ngày 1 tháng 7 năm 1870, chính quyền lại quyết định đổi tên thành đường De La Grandière (rue de la Grandière), theo tên của Thống đốc Nam Kỳ Pierre-Paul de La Grandière.[3][4][6]

Năm 1950, chính quyền Quốc gia Việt Nam của Bảo Đại đổi tên đoạn đường từ ngã sáu đến đường Catinat thành đường Gia Long, đoạn còn lại vẫn mang tên De La Grandière. Năm 1955, đoạn đường còn lại cũng được chính quyền Việt Nam Cộng hòa đổi thành đường Gia Long. Năm 1975, chính quyền Cộng hòa Miền Nam Việt Nam đổi tên đường Gia Long thành đường Lý Tự Trọng như hiện nay.[4]